package com.shujia.sql

import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkConf, SparkContext}

object Demo4SparkOnHive {


  def main(args: Array[String]): Unit = {

    /**
      * spark on hive  sparksql 使用hive的元数据
      * hive on spark  hive使用spark作为计算引擎
      *
      */

    val conf = new SparkConf()
      //.setMaster("local") //本地运行
      .setAppName("map")

    //spark sql 默认并行度
    conf.set("spark.sql.shuffle.partitions", "4")

    val sc = new SparkContext(conf)

    //创建hive上下文对象    可以使用hive元数据
    //spark和hive必须先整合
    val hiveContext = new HiveContext(sc)

    hiveContext
      .sql("select clazz,count(1) from student group by clazz")
      .show()

  }
}